A Khuê sinh ra trong gia đình truyền thống nghệ thuật. Cha ông là danh vĩ cầm Hoàng Liêu. Anh trai ông là nhạc sĩ Hoàng Lương [1]. Từ nhỏ cha ông đã bắt ông học chơi vĩ cầm một thời gian. Thời thanh niên có lúc đi chơi nhạc kiếm tiền.[2]

• 6 năm sống cùng gia đình ở Quảng Ngãi.
• 12 năm tiếp theo sống ở Đà Nẵng rồi về Đồng Nai.
• Lập gia đình và 14 năm làm ruộng ở Sóc Trăng.
• 8 năm quay lại sống ở Đồng Nai.
• Từ 1998 ông sinh sống cùng vợ con ở thị xã Đồng Xoài, tỉnh Bình Phước cho đến lúc qua đời.